Recently, the success of pre-training in text domain has been fully extended to vision, audio, and cross-modal scenarios. The proposed pre-training models of different modalities are showing a rising trend of homogeneity in their model structures, which brings the opportunity to implement different pre-training models within a uniform framework. In this paper, we present TencentPretrain, a toolkit supporting pre-training models of different modalities. The core feature of TencentPretrain is the modular design. The toolkit uniformly divides pre-training models into 5 components: embedding, encoder, target embedding, decoder, and target. As almost all of common modules are provided in each component, users can choose the desired modules from different components to build a complete pre-training model. The modular design enables users to efficiently reproduce existing pre-training models or build brand-new one. We test the toolkit on text, vision, and audio benchmarks and show that it can match the performance of the original implementations.

科学文献是高质量的语料库，支持大量自然语言处理（NLP）研究。但是，现有数据集围绕英语，这限制了中国科学NLP的发展。在这项工作中，我们提出了CSL，这是一个大规模的中国科学文献数据集，其中包含396K论文的标题，摘要，关键字和学术领域。据我们所知，CSL是中文中的第一个科学文档数据集。 CSL可以用作中国语料库。同样，该半结构化数据是一种自然注释，可以构成许多监督的NLP任务。基于CSL，我们提出了一个基准，以评估跨科学领域任务的模型的性能，即摘要，关键字生成和文本分类。我们分析了现有文本到文本模型在评估任务上的行为，并揭示了中国科学NLP任务的挑战，该任务为未来的研究提供了宝贵的参考。数据和代码可在https://github.com/ydli-ai/csl上找到

位置识别技术赋予了一种大满贯算法，具有消除累积错误并自身重新定位的能力。基于点云的位置识别的现有方法通常利用以激光雷达为中心的全局描述符的匹配。这些方法具有以下两个主要缺陷：当两个点云之间的距离很远时，不能执行位置识别，并且只能计算旋转角度，而无需在x和y方向上偏移。为了解决这两个问题，我们提出了一个新颖的全球描述符，该描述符围绕主要对象构建，以这种方式，描述符不再依赖于观察位置。我们分析了该方法可以完美地解决上述两个问题的理论，并在Kitti和一些极端情况下进行了许多实验，这表明我们的方法比传统方法具有明显的优势。

非负矩阵分解（NMF）已广泛用于降低机器学习的尺寸。但是，传统的NMF无法正确处理异常值，因此对噪声敏感。为了提高NMF的鲁棒性，本文提出了一种自适应加权NMF，它引入了权重，以强调每个数据点的不同重要性，因此降低了对噪声数据的算法敏感性。它与使用缓慢生长相似性度量的现有强大NMF大不相同。具体而言，提出了两种实现这一目标的策略：模糊加权技术和熵加权技术，两者都导致具有简单形式的迭代解决方案。实验结果表明，新方法在具有噪声的几个真实数据集上具有更健壮的特征表示，而不是进行噪声。

迭代加权收缩阈值算法（IWSTA）已经显示出优于经典的未加权迭代收缩 - 阈值算法（ISTA），用于解决线性逆问题，其不同地解决属性。本文提出了一种新的熵正则化IWSTA（ERIWSTA），该IWSTA（ERIWSTA）为成本函数增加了成本函数以衡量权重的不确定性，以刺激参与问题解决的属性。然后，用拉格朗日乘法器方法解决权重，以获得简单的迭代更新。可以解释权重作为问题解决方案的贡献的概率。CT图像恢复的实验结果表明，该方法在收敛速度和恢复精度方面具有比现有方法更好的性能。

背景和目的：胃癌已经成为全球第五次常见的癌症，早期检测胃癌对于拯救生命至关重要。胃癌的组织病理学检查是诊断胃癌的金标准。然而，计算机辅助诊断技术是挑战，以评估由于公开胃组织病理学图像数据集的稀缺而评估。方法：在本文中，公布了一种贵族公共胃组织病理学子尺寸图像数据库（GashissdB）以识别分类器的性能。具体地，包括两种类型的数据：正常和异常，总共245,196个组织案例图像。为了证明图像分类领域的不同时期的方法在GashissdB上具有差异，我们选择各种分类器进行评估。选择七种古典机器学习分类器，三个卷积神经网络分类器和新颖的基于变压器的分类器进行测试，用于测试图像分类任务。结果：本研究采用传统机器学习和深入学习方法进行了广泛的实验，以证明不同时期的方法对GashissdB具有差异。传统的机器学习实现了86.08％的最佳精度率，最低仅为41.12％。深度学习的最佳准确性达到96.47％，最低为86.21％。分类器的精度率显着变化。结论：据我们所知，它是第一个公开的胃癌组织病理学数据集，包含大量的弱监督学习的图像。我们认为Gashissdb可以吸引研究人员来探索胃癌自动诊断的新算法，这可以帮助医生和临床环境中的患者。

宫颈癌是女性中一种非常常见和致命的癌症类型。细胞病理学图像通常用于筛选这种癌症。鉴于在手动筛查期间可能发生许多错误，已经开发了一种基于深度学习的计算机辅助诊断系统。深度学习方法需要输入图像的固定维度，但临床医学图像的尺寸不一致。图像的纵横比在直接调整它们的同时受到影响。临床上，细胞病理学图像内的细胞的纵横比为医生诊断癌症提供重要信息。因此，很难直接调整大小。然而，许多现有研究直接调整了图像的大小，并获得了高度稳健的分类结果。为了确定合理的解释，我们进行了一系列比较实验。首先，预处理SipakMed数据集的原始数据以获得标准和缩放数据集。然后，将数据集调整为224 x 224像素。最后，22种深度学习模型用于分类标准和缩放数据集。该研究的结果表明，深度学习模型对宫颈细胞病理学图像中细胞的纵横比变化是鲁棒的。此结论也通过Herlev DataSet验证。

现有的胃癌诊断深层学习方法，常用卷积神经网络。最近，视觉变压器由于其性能和效率而引起了极大的关注，但其应用主要在计算机视野领域。本文提出了一种用于Gashis变压器的多尺度视觉变压器模型，用于胃组织病理学图像分类（GHIC），其使微观胃图像自动分类为异常和正常情况。 GASHIS-COMPURANCER模型由两个关键模块组成：全球信息模块和局部信息模块有效提取组织病理特征。在我们的实验中，具有280个异常和正常图像的公共血毒素和曙红（H＆E）染色的胃组织病理学数据集分为训练，验证和测试组，比率为1：1：2胃组织病理学数据集测试组精度，召回，F1分数和准确性分别为98.0％，100.0％，96.0％和98.0％。此外，进行了关键的研究以评估Gashis变压器的稳健性，其中添加了10个不同的噪声，包括四种对抗性攻击和六种传统图像噪声。此外，执行临床上有意义的研究以测试Gashis变压器的胃肠癌鉴定性能，具有620个异常图像，精度达到96.8％。最后，进行比较研究以测试在淋巴瘤图像数据集和乳腺癌数据集上的H＆E和免疫组织化学染色图像的概括性，产生可比的F1分数（85.6％和82.8％）和精度（83.9％和89.4％） ， 分别。总之，Gashistransformer演示了高分类性能，并在GHIC任务中显示出其显着潜力。

In this paper, we aim to design an efficient real-time object detector that exceeds the YOLO series and is easily extensible for many object recognition tasks such as instance segmentation and rotated object detection. To obtain a more efficient model architecture, we explore an architecture that has compatible capacities in the backbone and neck, constructed by a basic building block that consists of large-kernel depth-wise convolutions. We further introduce soft labels when calculating matching costs in the dynamic label assignment to improve accuracy. Together with better training techniques, the resulting object detector, named RTMDet, achieves 52.8% AP on COCO with 300+ FPS on an NVIDIA 3090 GPU, outperforming the current mainstream industrial detectors. RTMDet achieves the best parameter-accuracy trade-off with tiny/small/medium/large/extra-large model sizes for various application scenarios, and obtains new state-of-the-art performance on real-time instance segmentation and rotated object detection. We hope the experimental results can provide new insights into designing versatile real-time object detectors for many object recognition tasks. Code and models are released at https://github.com/open-mmlab/mmdetection/tree/3.x/configs/rtmdet.

Noninvasive X-ray imaging of nanoscale three-dimensional objects, e.g. integrated circuits (ICs), generally requires two types of scanning: ptychographic, which is translational and returns estimates of complex electromagnetic field through ICs; and tomographic scanning, which collects complex field projections from multiple angles. Here, we present Attentional Ptycho-Tomography (APT), an approach trained to provide accurate reconstructions of ICs despite incomplete measurements, using a dramatically reduced amount of angular scanning. Training process includes regularizing priors based on typical IC patterns and the physics of X-ray propagation. We demonstrate that APT with 12-time reduced angles achieves fidelity comparable to the gold standard with the original set of angles. With the same set of reduced angles, APT also outperforms baseline reconstruction methods. In our experiments, APT achieves 108-time aggregate reduction in data acquisition and computation without compromising quality. We expect our physics-assisted machine learning framework could also be applied to other branches of nanoscale imaging.